模型感知调度通过纤维最优传输改进生成
🧭 扩散/流匹配训练调度优化
Arnold-Sommerfeld-Center for Theoretical Physics, Ludwig-Maximilians-Universität München · Institute of Informatics, Ludwig-Maximilians-Universität München · Munich Center for Machine Learning
提出基于纤维最优传输的模型感知调度，显著提升扩散/流匹配生成效率，并发现可复用的风险模板
📌 工作参考价值（4 点）
- 训练时间重分配思路可迁移到扩散式生成推荐：用早期 checkpoint 估计模型在不同噪声时间步的预测风险，将训练采样集中在高风险区域，提升 item 表示生成质量或加速推理采样。
- 归一化风险 profile 跨模型/设置的经验普适性表明，可以离线生成一个冻结的解析调度模板，在类似任务中直接复用，省去逐模型调参成本。
- 模型感知调度把计算资源向预测困难处倾斜，与推荐中困难样本挖掘/课程学习思想一致，可结合业务指标设计风险函数，例如对高交互稀疏 item 的时间步加权。
- 注意该工作面向图像生成，迁移到推荐需谨慎：需重新定义纤维上的 OT 成本（如 item embedding 距离），并适配召回/NDCG 等业务目标。
Wasserstein 过滤：一种用于鲁棒分布学习的样本选择方法
🧭 鲁棒分布学习与异常检测
The Hong Kong Polytechnic University · Fudan University
提出 Wasserstein Filtering，通过最大化子集与污染数据集的 Wasserstein 距离来剔除异常样本，并给出可扩展算法
📌 工作参考价值（4 点）
- 可作为训练数据清洗的通用预处理工具：在用户行为日志、点击数据中常混有 bot 流量或噪声样本，WF 用分布距离直接筛选干净子集，不依赖具体模型，适合在特征工程阶段引入。
- 边际筛选算法 SinkMarg 计算快，适合大规模推荐/广告日志的初筛；需要更高精度时再用 SinkWF 或 SlicedWF 做联合优化，工程上可以分两级漏斗。
- 对生成式推荐或创意生成模型：若训练数据含大量低质/异常样本，WF 能先筛出干净数据，再训练 diffusion 等生成模型，缓解模式坍塌或生成质量下降。
- 异常检测场景中，WF 的“最大化 Wasserstein 距离”思路可迁移到流量反作弊、异常用户识别，作为无监督异常分数的一种新视角。
扩散模型推理时缩放：渐进式种子剪枝
🧭 扩散模型推理时缩放 · 渐进剪枝
California Institute of Technology
在固定计算量下，通过早期评分并逐步剪枝扩散去噪轨迹，显著提升生成质量
📌 工作参考价值（4 点）
- 生成式推荐中，若采用扩散模型生成物品语义ID，可借鉴PSP思路：在去噪早期使用轻量评分器筛选候选序列，剪枝低分路径，不增加总去噪步数却提升最终ID质量。
- 当业务需要从多个随机种子生成的候选集（如LLM生成多条搜索词）中择优选时，可实施渐进式剪枝：用部分解码结果与指令的相关性进行早期评估，提前丢弃不佳生成，节省完整推理开销。
- 多步推理Agent的动作序列搜索可类比种子筛选，采用粒子滤波式剪枝，在动作分支早期保留高价值路径，控制整体推理成本的同时提高最终任务完成率。
- 工程实现上，PSP的核心是设计一个与最终奖励对齐的中间评分机制；可借鉴其“前端重探索、后端重利用”的调度策略，在固定Token预算下优化生成结果。
个性化视频缩略图生成：偏好感知高亮检索与可控生成
🧭 个性化视觉内容生成·高亮检索
提出个性化视频缩略图生成任务，结合用户偏好高亮帧检索和VLM引导扩散生成，显著提升点击偏好
📌 工作参考价值（4 点）
- 广告/商品创意图个性化：借鉴偏好感知检索，根据用户历史行为选择视频/图像中的关键区域（锚点），再用生成模型个性化重构，例如动态广告图生成。
- 两阶段解耦架构：检索阶段融合用户交互和内容语义，生成阶段注入VLM提取的语义线索，可提高生成结果的相关性和质量。
- 面向点击优化：通过用户研究直接验证个性化缩略图能提升点击率，类似方法可用于电商搜索推荐中的创意元素个性化（如主图背景、文案风格）。
- 技术细节：使用扩散模型基于锚点图像指导生成，结合文本提示（如VLM描述）控制风格，可迁移至商品场景图的个性化生成。
从自我未来学习：面向扩散LLM的在线策略自蒸馏
🧭 扩散LLM后训练 · 在线自蒸馏
Tsinghua University · Technical University of Munich · Nanyang Technological University · University of British Columbia · University of Texas at Austin
首个面向扩散大语言模型的在线自蒸馏框架，通过后缀条件化与步骤级监督实现高效后训练
📌 工作参考价值（4 点）
- 若业务中采用扩散模型做生成式推荐（如商品语义ID序列生成），可借鉴d-OPSD的后缀条件化设计：将已生成的未来token作为条件，为当前token提供稠密监督，无需额外的前缀特权信息。
- 步骤级监督（step-level KLD）比token级监督更适配迭代去噪训练过程，可在扩散推荐模型的微调中替换逐token loss，提升生成质量与训练效率。
- 该方法样本效率极高（仅需RLVR 10%的优化步数），在大规模推荐模型训练中可大幅降低算力成本，适合资源受限场景的模型后训练。
- 自未来经验蒸馏的思路可推广至其他序列生成任务，例如用llm生成搜索query时，利用模型自身后续生成的内容作为监督信号，强化长程一致性。
扩散理论教程：从微分方程到扩散模型
🧭 扩散模型理论统一框架
INSAIT · Sofia University "St. Kliment Ohridski"
用微分方程统一推导扩散模型的前向/反向过程，阐明训练目标与采样方法的关系
📌 工作参考价值（4 点）
- 理解DDPM与DDIM的采样本质（反向SDE vs 反向ODE），在生成式推荐中可根据速度与质量需求选择合适的采样器。
- 分类器指导和无分类器指导的推导可用于条件生成（如基于用户属性的商品图片生成），直接提升生成内容的相关性。
- DPM-Solver等快速采样方法可加速扩散模型的推理，降低线上延迟。
- 训练目标的等价性（噪声预测=分数匹配）允许灵活选择损失函数，简化实现。
RiT：普通扩散Transformer在表示空间即可胜任
🧭 生成模型 · 表示空间训练
Mila – Québec AI Institute · Université de Montréal · Utrecht University · Canada CIFAR AI Chair
利用DINOv2特征的优良统计特性，仅用普通DiT加x-prediction实现高效极速图像生成
📌 工作参考价值（4 点）
- 用语义表示替代像素空间做生成式推荐：预训练语义嵌入（如 DINOv2）的内在维度与像素相似，但有效秩更高、协方差条件更好，使扩散模型训练更稳定、采样更快。在推荐场景中，可将用户行为序列或物品的语义 embedding 作为扩散目标，替代原始 ID 或 VAE latents，降低建模难度。
- 维度感知噪声调度：不同特征维度可能包含不同层次的信息，RiT 对不同维度施加不同的噪声水平，避免各向同性噪声破坏低维结构。在生成序列或行为嵌入时，可对主要变化维度与噪声维度区别对待，提升生成质量。
- 联合 [CLS]-patch 建模：在序列生成中，类似地引入一个全局 token（如 user state）参与扩散过程，并与局部 patch（行为 sub-sequence）联合建模，可能比独立生成各步行为更连贯。
- 快速采样的工程优势：无需蒸馏或一致性训练，RiT 仅用 5~10 个 Heun 步骤即可达到高画质。这为在线推荐中实时生成候选集（如 top-N 物品）提供了可能，大幅降低推理延迟。
基于矩匹配得分平滑的无训练生成采样
🧭 训练自由生成采样 · 矩匹配分数平滑
College of Computing and Data Science, Nanyang Technological University
提出一种无训练的交互粒子采样器MM-SOLD，通过矩匹配和分数平滑在CPU上生成高质量样本
📌 工作参考价值（4 点）
- 无需训练神经网络的快速生成：可在CPU上直接应用，避免昂贵的扩散模型训练，适用于电商推荐中低资源或快速原型场景，如生成候选 item 嵌入或用户行为序列。
- 矩匹配保证分布一致性：通过强制样本均值与协方差匹配训练数据经验矩，能保持关键统计特性，可用于推荐系统的数据增强或生成符合业务指标的合成数据。
- 交互粒子系统实现多样性：粒子交互机制天然促进样本多样性，避免模式坍塌，这对生成推荐中探索多样化 item 表示有借鉴意义。
- 方法可扩展至潜在空间：已展示在VAE潜在空间上生成图像，类似思路可用于推荐中的离散 token 生成或 Semantic ID 的低维表示采样。
对齐潜空间几何以实现球面流匹配图像生成
🧭 球面潜在流匹配优化生成质量
将扩散模型潜空间的线性插值改为球面线性插值，仅微调解码器即可提升生成质量
📌 工作参考价值（3 点）
- 对于电商中的商品图生成等视觉任务，直接将扩散模型潜空间的线性插值替换为球面插值（slerp），并配合固定半径投影与解码器微调，可在不改动主干网络的前提下提升FID，工程改动小，效果稳健。
- 方向分量主导语义的洞察可迁移到推荐系统的表示学习：将用户/物品embedding归一化到固定球面，分离语义（方向）与强度（半径），有助于提升表示对齐和相似度计算的稳定性。
- 冻结编码器、只微调解码器的策略，是一种低成本的分布适配技巧，适用于其他需要将高斯先验对齐到特定几何结构的生成式模型场景。